hi,同学们,我是赤辰,本期是我们第90期AI项目教程
前几天给大家介绍了SD数字人(对口型)插件Wav2Lip安装教程,可能对于小白来说操作较复杂,且对硬件要求较高,建议大家云部署。
今天将重点给大家分享用Wav2lip来制作音频驱动视频生成数字人口播视频使用教程。
接下来将逐一详细演示讲解
制作之前,需要提前准备好一条源视频,一条音频,视频和音频的时长必须一致。关于文本转音频工具,这里推荐使用免费的TTSMAKER在线配音工具,或者你也可以使用语音克隆工具ElevenLabs AI。
这里我准备了一段8秒的泰勒演讲视频,一段我用TTSMAKER制作的音频来给大家演示。
打开SD,确保Wav2lip Studio插件及模型已安装完毕。然后选择模型,这里有两个模型可供选择,我选择wav2lip模型来测试。- wav2lip模型:能精确地追踪嘴巴动作,但是清晰度低,有可能导致生成的视频脸部动作怪怪的,不协调。
- wav2lip_gan模型:减小嘴部动作,画面效果较高清晰度,支持面部修复。
only mouth:仅跟踪嘴部,删除其他面部运动,如脸颊和下巴resize factor:调低分辨率,2k以上原视频适用,因为Web tolip的开源模型,数据及分辨率都比较低,有时候降低分辨率,可以得到更好的结果。Mouth Mask Dilate:调节嘴巴运动幅度大小这些参数没有固定的最优值,每个视频都不一样的这个有点花时间去调,生成的视频,如果人物嘴巴过小的话,就可以把参数调大,人物嘴巴大,就可以调小参数,主要是根据你的视频来调整这些参数,直到满意为止。最后点击“生成”,生成的过程会很慢,占用的显存也会很大,大概静等1-5分钟左右,系统就生成3个视频,点击第三个视频下载即可。接下来我们来试试Wav2lip视频换脸,同样先上传视频接着上传需要换脸的人物图片,我这里选择了一张刘亦菲的正脸照,然后上传音频。
这里选择wav2lip_gan模型,可以进行脸部修复。最后直接点击生成按钮,即可等待视频生成,换脸生成视频等待的时长会更久,会占用20多G的显存,8S视频,需要15分钟左右,所以一般建议源视频可以提前降低分辨率,再上传wav2lip生成。换脸效果还蛮贴合,但是头发部分还是有些瑕疵,想要更完美的话,那就需要进行参数调节再次生成。相比HEYGEN,免费的wav2lip还能生成那么高质量的数字人,真的香,掌握了这个工具使用,可以制作有创意的短视频内容,涨粉不愁,同学们快试试吧!好了,今天的内容就到这,本期AI实战圈开展第五期训练营:AI公众号爆文写作,AI小红书商单训练营长期进行中,假如同学对AI项目感兴趣,想学习更多AI技能等等,可加我微信。若同学们觉得内容有帮助,记得点赞,在看,转发三连!